В 2020 году Backblaze добавил 39 792 жестких диска, и по состоянию на 31 декабря 2020 года у нас было 165 530 дисков под управлением. Из этого числа было 3 000 загрузочных дисков и 162 530 дисков с данными. Мы обсудим загрузочные диски позже в этом отчете, но сначала мы сосредоточимся на частоте отказов жестких дисков для моделей дисков данных, работающих в наших центрах обработки данных по состоянию на конец декабря. Кроме того, мы снова поприветствуем Western Digital на ферме и познакомимся с нашими новыми накопителями емкостью 16 и 18 ТБ. Попутно мы поделимся наблюдениями и мнениями по представленным данным и, как всегда, ждем, что вы сделаете то же самое в комментариях.

Уровень отказов жестких дисков в 2020 г.
В конце 2020 года Backblaze контролировал 162 530 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения 231 диск, который использовался для тестирования, и те модели дисков, для которых у нас не было хотя бы 60 дисков. Таким образом, в 2020 году у нас останется 162299 жестких дисков, как указано ниже.


Наблюдения
231 диск, не включенный в список выше, либо использовался для тестирования, либо не имел по крайней мере 60 дисков одной и той же модели в любое время в течение года. Данные для всех дисков, дисков с данными, загрузочных дисков и т. Д. Доступны для загрузки на веб-странице данных тестирования жесткого диска.

Для приводов с менее чем 250 000 диско-дней какие-либо выводы о частоте отказов приводов не обоснованы. Данных за год недостаточно, чтобы делать какие-либо выводы. Только для полноты мы представляем модели с менее чем 250 000 дней в пути.

Для моделей дисков с более чем 250 000 диско-дней в течение 2020 года диск Seagate 6 ТБ (модель: ST6000DX000) является лидером с показателем частоты отказов 0,23% в годовом исчислении (AFR). Эта модель также была самой старой по среднему возрасту из всех перечисленных приводов. За моделью Seagate на 6 ТБ следуют постоянные конкуренты от HGST: диск 4 ТБ (модель: HMS5C4040ALE640) с 0,27%, диск 4 ТБ (модель: HMS5C4040BLE640), с 0,27%, диск 8 ТБ (модель: HUH728080ALE600) с 0,29%. и накопитель на 12 ТБ (модель: HUH721212ALE600) на 0,31%.

AFR на 2020 год для всех моделей приводов составил 0,93%, что меньше половины AFR на 2019 год. Мы обсудим это позже в этом отчете.

Что нового в 2020 году
В начале 2020 года у нас была цель диверсифицировать количество моделей приводов, которые мы можем использовать в наших центрах обработки данных. С этой целью в течение года мы отобрали девять новых моделей приводов, как показано ниже.


Фактически, было две дополнительные модели жестких дисков, которые были новыми для нашей фермы в 2020 году: диск Seagate на 16 ТБ (модель: ST16000NM005G) с 26 дисками и диск Toshiba на 16 ТБ (модель: MG08ACA16TA) с 40 дисками. Каждый из них упал ниже нашего порога в 60 дисков и не был в списке.

Стимулируйте разнообразие
Цель отбора дополнительных моделей вождения оказалась пророческой в ​​2020 году, поскольку эффекты Covid-19 начали проникать в мировую экономику в марте 2020 года. К тому времени мы уже были на пути к нашей цели и, хотя Креативное решение, чем стимулирование сельского хозяйства, диверсификация модели стимулирования была одной из тактик, которые мы использовали для управления нашей цепочкой поставок через задержки производства и доставки, распространенные в первые несколько месяцев пандемии.

Western Digital Returns
В последний раз модель дисков Western Digital (WDC) была указана в нашем отчете во втором квартале 2019 года. В эксплуатации все еще находятся три диска WDC емкостью 6 ТБ и загрузочный диск WDC 261, но ни один из них не указан в наших отчетах, поэтому диски WDC отсутствуют — до сих пор. В четвертом квартале в общей сложности было установлено 6002 из этих жестких дисков емкостью 14 ТБ (модель: WUH721414ALE6L4), которые были в рабочем состоянии по состоянию на 31 декабря.

Эти диски, очевидно, делятся своей родословной с дисками HGST, но они сообщают о своем производителе как WDC против HGST. Номера моделей аналогичны: первые три символа меняются с HUH на WUH, а последние три символа меняются с 604, например, на 6L4. Нам неизвестно значение этого изменения, возможно, дело в местонахождении завода, версии прошивки или другом обозначении. Если знаете, дайте всем знать в комментариях. Как и у всех основных производителей приводов, номер модели несет в себе систематизированную информацию, относящуюся к каждой модели привода, и не генерируется случайным образом, поэтому строка 6L4 может означать что-то полезное.

WDC вернулся с большим успехом, так как AFR для этой модели дисковода составляет всего 0,16% — то есть при установленных 6002 дисках, но в среднем только на 1,7 месяца. Тем не менее, из-за всего одного сбоя за это время, они взяли отличный старт. Мы с нетерпением ждем их результатов в ближайшие месяцы.

Новые модели от Seagate
Шесть моделей дисков Seagate были новыми для нашей фермы в 2020 году. Пять из этих моделей перечислены в таблице выше, а одна модель имела только 26 дисков, поэтому ее не было в списке. Эти диски имели размер от 12 ТБ до 18 ТБ и использовались как для замены при миграции, так и для нового хранилища. Как группа, они насчитали 13 596 дисков и 1783 166 дней работы с 46 сбоями при AFR 0,94%.

Toshiba поставляет больше нулей
Новый диск Toshiba 14 ТБ (модель: MG07ACA14TA) и новый Toshiba 16 ТБ (модель: MG08ACA16TEY) были представлены в наших центрах обработки данных в 2020 году, и они выставляют нули, как при нулевых сбоях. Несмотря на то, что каждая модель привода была установлена ​​только около двух месяцев, это хорошее начало.

Сравнение статистики жестких дисков за 2018, 2019 и 2020 годы
На диаграмме ниже сравнивается AFR за каждый из последних трех лет. Данные за каждый год включают только этот год и для моделей приводов, представленных в конце каждого года.


Годовое количество отказов на 2020 год сильно снизилось
AFR на 2020 год упал ниже 1% до 0,93%. В 2019 году он составлял 1,89%. Это падение более чем на 50% по сравнению с прошлым годом. Так почему же AFR 2020 года был таким низким? Ответ: это была групповая работа. Начнем с того, что старые диски: диски 4 ТБ, 6 ТБ, 8 ТБ и 10 ТБ в целом были значительно лучше в 2020 году, снизившись с AFR 1,35% в 2019 году до AFR 0,96% в 2020 году. На другом конце диапазона размеров, мы добавили более 30 000 дисков большего размера: 14 ТБ, 16 ТБ и 18 ТБ, что в целом для группы составило 0,89% на 2020 год. Наконец, для всех дисков на 12 ТБ показатель AFR в 2020 году составил 0,98%. Другими словами, независимо от того, был ли диск старым или новым, большим или маленьким, они хорошо себя зарекомендовали в наших условиях в 2020 году.

Статистика жесткого диска за весь срок службы
В приведенной ниже таблице показаны среднегодовые показатели срока службы всех моделей приводов, находящихся в производстве, по состоянию на 31 декабря 2020 г.


AFR и доверительные интервалы
Доверительные интервалы дают вам представление о полезности соответствующего значения AFR. Узкий диапазон доверительного интервала лучше, чем более широкий диапазон, при этом очень широкий диапазон означает, что соответствующее значение AFR не является статистически полезным. Например, доверительный интервал для дисков Seagate емкостью 18 ТБ (модель: ST18000NM000J) составляет от 1,5% до 45,8%. Это очень много, и следует сделать вывод, что соответствующий показатель AFR 12,54% не является истинным показателем частоты отказов этой модели привода. Требуется больше данных. С другой стороны, когда мы смотрим на диск Toshiba емкостью 14 ТБ (модель: MG07ACA14TA), диапазон составляет от 0,7% до 1,1%, что довольно узко, и наша уверенность в AFR 0,9% гораздо более разумна.

3000 загрузочных дисков
Мы всегда исключаем загрузочные диски из наших отчетов, поскольку их функции сильно отличаются от дисков с данными. Хотя это может показаться не очевидным, наличие 3000 загрузочных дисков — это своего рода веха. Это означает, что по состоянию на 31 декабря у нас работает 3000 модулей хранения Backblaze. Все эти модули хранения организованы в хранилища Backblaze по 20 модулей в каждом или 150 хранилищ Backblaze.

Примерно за последний год мы перешли от жестких дисков к твердотельным накопителям в качестве загрузочных. Сегодня у нас чуть более 1200 твердотельных накопителей, которые работают как загрузочные диски. Мы проверяем данные SMART и отказов, которые собираем на этих загрузочных дисках SSD. Мы будем держать вас в курсе, если у нас будет что опубликовать.

На 31 марта 2020 года компания Backblaze имела 132 339 вращающихся жестких дисков в нашей экосистеме облачных хранилищ, распределенных по четырем центрам обработки данных. Из этого числа было 2380 загрузочных дисков и 129 959 дисков с данными. В этом обзоре рассматриваются показатели Q1 2020 и частоты отказов жестких дисков на моделях накопителей данных, которые в настоящее время используются в наших центрах обработки данных, а также приводится несколько примеров и наблюдений. Кроме того, ближе к концу поста мы рассмотрим несколько прогнозов на 2019 год, которые мы представили год назад. Как всегда, мы с нетерпением ждем ваших комментариев.

Статистика отказов жесткого диска за первый квартал 2020 года
В конце первого квартала 2020 года Backblaze использовала 129 959 жестких дисков для хранения данных клиентов. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 60 дисков (см. Почему ниже). Это оставляет нам 129 764 жестких дисков. В таблице ниже показано, что произошло в первом квартале 2020 года.


Примечания и наблюдения
Годовой процент отказов (AFR) за первый квартал 2020 года составил 1,07%. Это самая низкая AFR за любой квартал с тех пор, как мы начали отслеживать в 2013 году. Кроме того, AFR за первый квартал 2020 года значительно ниже, чем AFR за первый квартал 2019 года, который составил 1,56%.

В течение этого квартала 4 (четыре) модели дисков от 3 (трех) производителей имели 0 (ноль) отказов дисков. Ни один из дисков Toshiba 4TB и Seagate 16TB не вышел из строя в первом квартале, но в течение квартала на обоих дисках было менее 10 000 дней. Как следствие, AFR может широко варьироваться от небольшого изменения отказов привода. Например, если вышел из строя только один накопитель Seagate 16 ТБ, AFR составит 7,25% за квартал. Точно так же AFR накопителя Toshiba 4TB составит 4,05% с одним провалом в квартале.

Напротив, оба накопителя HGST с 0 (нулевыми) отказами за квартал имеют разумное количество дней накопления, поэтому AFR менее изменчив. Если бы у модели 8 ТБ был 1 (один) сбой за квартал, AFR составила бы только 0,40%, а модель 12 ТБ имела бы AFR всего 0,26% с 1 (одним) отказом за квартал. В обоих случаях 0% AFR за квартал впечатляет.

Было 195 накопителей (129 959 минус 129 764), которые не были включены в приведенный выше список, поскольку они использовались в качестве тестовых накопителей или у нас не было как минимум 60 накопителей данной модели. Например, у нас есть: 20 накопителей Toshiba 16 ТБ (модель: MG08ACA16TA), 20 накопителей HGST 10 ТБ (модель: HUH721010ALE600) и 20 накопителей Toshiba 8 ТБ (модель: HDWF180). Когда мы публикуем квартальную, годовую или пожизненную статистику накопителей, модели с менее чем 60 накопителями не включаются в расчеты или графики. Мы используем как минимум 60 дисков, так как во всех вновь развернутых блоках хранения есть 60 дисков.

Тем не менее, все данные со всех моделей накопителей, включая загрузочные накопители, включены в файлы, к которым можно получить доступ и загрузить их на нашей веб-странице с данными испытаний накопителей.

Вычисление годовой частоты отказов
Во всех наших отчетах мы используем термин «Годовой процент отказов» (AFR). Слово «в годовом исчислении» здесь означает, что независимо от периода наблюдения (месяц, квартал) Частота отказов будет преобразована в годовой показатель. Для данной группы приводов (то есть модель, производитель) Мы рассчитываем AFR для периода наблюдения следующим образом:

• Отказ дисков — это количество дисков, которые вышли из строя в течение периода наблюдения.
• Дни привода — это количество дней, в течение которых все наблюдаемые диски работали в течение периода наблюдения.
• В 2020 году 366 дней, очевидно, что в не високосные годы мы используем 365.

Пример: вычисление AFR для модели привода BB007 за последние шесть месяцев;

• За период наблюдения (шесть месяцев) было 28 сбоев в работе.
• В конце периода наблюдения было 6000 жестких дисков.
• Общее количество дней работы всех накопителей модели BB007 за период наблюдения (6 месяцев) составило 878 400 дней.

За шесть месяцев модель накопителя BB007 имела годовой коэффициент отказов 1,17%.


Суммируя количество дней вождения, вы получаете 878 400, но количество дисков в конце периода наблюдения составляет 6000. Формула дней суток реагирует на изменение количества дисков за период наблюдения, в то время как формула количества дисков реагирует только на счет в конце.

Частота отказов в 0,93% по формуле количества дисков значительно ниже, что хорошо, если вы являетесь производителем дисков, но не соответствует тому, как диски фактически интегрированы и используются в нашей среде. Вот почему Backblaze выбирает метод «дни вождения», так как он лучше соответствует реальности нашего бизнеса.

Прогнозы на первый квартал 2019 года
В обзоре статистики жестких дисков за первый квартал 2019 года мы сделали несколько прогнозов относительно жестких дисков о том, что произойдет к концу 2019 года. Давайте посмотрим, как мы это сделали.

Прогноз: Backblaze продолжит переносить диски емкостью 4 ТБ, и к концу 2019 года их будет менее 15 000: у нас сейчас около 35 000.

Реальность: количество дисков 4 ТБ по состоянию на 31 декабря 2019 года: 34 908.
Обзор: мы были слишком заняты добавлением дисков для переноса любого из них.
Предсказание. Мы установим как минимум двадцать накопителей емкостью 20 ТБ для тестирования.

Реальность: у нас ноль 20ТБ накопителей.
Обзор. Нам не предлагалось тестировать диски емкостью 20 ТБ или иным образом.
Предсказание: Backblaze превысит один эксабайт (1000 петабайт) доступного облачного хранилища. В настоящее время мы имеем около 850 петабайт доступного хранилища.

Реальность: мы объявили один эксабайт в марте 2020 года, сразу после конца 2019 года.
Рецензия: Цитируя Максвелла Смарта, «так сильно скучал».
Прогноз. Для целей тестирования мы установим как минимум 1 накопитель на основе HAMR от Seagate и / или 1 накопитель MAMR от Western Digital.

Реальность: не нюхать диски HAMR или MAMR.
Обзор: Надеюсь, к концу 2020 года.
Подводя итог, я думаю, что вернусь к статистике жесткого диска и оставлю прогнозирование предсказателям и предсказателям.

Статистика срока службы жесткого диска
В приведенной ниже таблице показана частота отказов в течение срока службы моделей жестких дисков, которые мы эксплуатировали по состоянию на 31 марта 2020 года. Отчетный период — с апреля 2013 года по 31 декабря 2019 года. Все перечисленные диски были установлены в течение этого периода времени.

Но как насчет Drive Count?
Некоторым из вас может быть интересно, где «количество накопителей» вписывается в эту формулу? Это не так, и это беспокоит некоторых людей. В конце концов, было бы проще рассчитать AFR как:

AFR = (Отказы двигателя / Счетчик движения) * (366 дней в период наблюдения) * 100

Давайте вернемся к нашему примеру в предыдущем абзаце. В конце периода наблюдения было 6 000 жестких дисков; делать математику:

AFR = (28/6000) * (366/183) * 100 = (0,00467) * (2) * 100 = 0,93%

Используя метод подсчета накопителей, модель BB007 имела частоту отказов 0,93%. Причина различия заключается в том, что Backblaze постоянно добавляет и вычитает диски. Новые хранилища Backblaze появляются каждый месяц; новые функции, такие как совместимость с S3, быстро увеличивают спрос; миграция заменяет старые диски малой емкости на новые диски большей емкости; и иногда в смеси присутствуют клонированные и временные диски. Среда очень динамичная. Количество поездок в любой день в течение периода наблюдения будет варьироваться. При использовании метода подсчета накопителей частота отказов зависит от дня подсчета накопителей. В этом случае последний день периода наблюдения. При использовании метода дней привода частота отказов определяется на весь период наблюдения.

В нашем примере в следующей таблице показано количество накопителей по мере добавления накопителей за шестимесячный период наблюдения:


Данные о жестком диске
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, — это три вещи: 1) Вы цитируете Backblaze в качестве источника, если вы используете данные, 2) Вы соглашаетесь с тем, что несете единоличную ответственность за то, как вы используете данные, и 3) Вы не продаете эти данные кому-либо — это бесплатно.

Если вы просто хотите, чтобы сводные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.
f001.backblazeb2.com/file/Backblaze_Blog/Q1_2020_Drive_Stats_Charts_Data.zip
Удачи и дайте нам знать, если найдете что-нибудь интересное.

По состоянию на 31 марта 2019 года у Backblaze было 106 238 вращающихся жестких дисков в нашей экосистеме облачных хранилищ, распределенных по трем центрам обработки данных. Из этого числа было 1913 загрузочных дисков и 104 325 дисков данных. В этом обзоре рассматриваются показатели первого квартала 2019 года и частоты отказов жестких дисков на моделях накопителей данных, которые в настоящее время используются в наших центрах обработки данных, и приводится несколько полезных идей и наблюдений. Кроме того, у нас есть несколько вопросов для размышления ближе к концу поста. Как всегда, мы с нетерпением ждем ваших комментариев.

Статистика отказов жесткого диска за первый квартал 2019 года
В конце первого квартала 2019 года Backblaze использовала 104 325 жестких дисков для хранения данных. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 45 дисков (см. Почему ниже). Это оставляет нам 104 130 жестких дисков. В таблице ниже показано, что произошло в первом квартале 2019 года.


Таблица коэффициентов отказов жесткого диска Q1 2019

Примечания и наблюдения
Если в модели накопителя частота отказов составляет 0%, это означает, что в течение первого квартала 2019 года отказы накопителей этой модели отсутствовали. В первом квартале в списке приводов с нулевыми отказами были модели Toshiba объемом 4 ТБ и 5 ТБ. Ни один из них не имеет достаточно большого количества дней вождения, чтобы быть статистически значимым, но в случае модели объемом 5 ТБ вы должны вернуться ко второму кварталу 2016 года, чтобы найти последний сбой накопителя в этой модели.

Было 195 накопителей (104 325 минус 104 130), которые не были включены в приведенный выше список, поскольку они использовались в качестве тестируемых накопителей или у нас не было по крайней мере 45 данной модели накопителей. Мы используем 45 накопителей той же модели, что и минимальное количество, при составлении квартальной, годовой и пожизненной статистики накопителей. Использование 45 накопителей носит исторический характер, поскольку это было количество накопителей в наших оригинальных накопителях. В следующем квартале этот порог изменится; мы скоро к этому вернемся.

Годовой процент отказов (AFR) за 1 квартал составляет 1,56%. Это столь же высоко, как квартальная ставка с 4 квартала 2017 года, и это часть общей тенденции к повышению, которую мы наблюдаем в квартальных показателях отказов за последние несколько кварталов. Давайте посмотрим поближе.

Квартальные тенденции
В предыдущих отчетах мы отмечали, что использование ежеквартальных отчетов полезно для выявления тенденций в отношении конкретного диска или даже производителя. Тем не менее, вам необходимо иметь достаточно данных (количество и количество дней в году) за каждый наблюдаемый период (квартал), чтобы сделать любой анализ действительным. С этой целью в приведенной ниже таблице используются квартальные данные с дисков Seagate и HGST, но при этом не учитываются диски Toshiba и WDC, поскольку в течение последних трех лет у нас не было достаточно дисков от этих производителей.


Тенденции ежегодных годовых отказов жестких дисков по производителям

За последние три года тенденция к ежегодным показателям отказов Seagate и HGST улучшилась, то есть уменьшилась. В то время как Seagate снизил частоту отказов более чем на 50% за это время, тенденция к росту за последние три квартала требует некоторого рассмотрения. Мы рассмотрим это и сообщим, найдем ли мы что-нибудь интересное в следующем посте.

Изменение порога квалификации
Как сообщалось за последние несколько кварталов, мы перешли с дисков с низкой плотностью, дисков на 2, 3 и 4 ТБ на жесткие диски на 10, 12 и 14 ТБ. В то же время мы заменили наши автономные модули хранения с 45 дисками на блоки хранения с 60 дисками, расположенные в конфигурации Backblaze Vault из 20 блоков хранения на хранилище. В первом квартале последний автономный 45-дисковый накопитель был удален. Поэтому использование 45 накопителей в качестве порога для квалификации в нашем ежеквартальном отчете выглядит устаревшим. Это хорошее время, чтобы перейти к использованию Дней в качестве критериев квалификации. При рассмотрении наших данных мы решили использовать 5000 дней в качестве порога в будущем. Исключение составляют все текущие накопители, о которых мы сообщаем, такие как модель Toshiba 5 ТБ с продолжительностью около 4000 часов в квартал, которые будут по-прежнему включаться в наши отчеты о состоянии жестких дисков.

Меньше дисков = больше данных
Те из вас, кто следит за нашими ежеквартальными отчетами, возможно, заметили, что общее количество жестких дисков в обслуживании сократилось в 1 квартале на 648 дисков по сравнению с 4 кварталом 2018 года, но мы добавили почти 60 петабайт хранилища. Вы можете увидеть, что изменилось на графике ниже.


Backblaze Cloud Storage: количество накопителей и дисковое пространство в таблице Q1 2019

Статистика срока службы жесткого диска
В приведенной ниже таблице показана частота отказов в течение срока службы моделей жестких дисков, которые мы эксплуатировали по состоянию на 31 марта 2019 года. Это за период, начинающийся в апреле 2013 года и заканчивающийся 31 марта 2019 года.


Таблица показателей отказоустойчивости жесткого диска Backblaze

Прогнозы на остаток 2019 года
В 2019 году, вот несколько предположений относительно того, что может произойти в течение года. Давайте посмотрим, что вы думаете.

К концу 2019 года, что, если таковое произойдет, произойдет следующее? Дайте нам знать об этом в комментариях.

• Backblaze будет продолжать переносить диски емкостью 4 ТБ, и к концу 2019 года их будет менее 15 000: у нас сейчас около 35 000.
• Для тестирования мы установим как минимум двадцать 20 ТБ накопителей.
• Backblaze превысит 1 эксабайт (1000 петабайт) доступного облачного хранилища. В настоящее время мы имеем около 850 петабайт доступного хранилища.
• Для целей тестирования мы установим как минимум 1 накопитель на основе HAMR от Seagate и / или 1 накопитель MAMR от Western Digital.

Данные о жестком диске
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, о чем мы просим, ​​это три вещи: 1) Вы цитируете Backblaze в качестве источника, если вы используете данные, 2) Вы соглашаетесь с тем, что несете единоличную ответственность за то, как вы используете эти данные, и, 3) Вы не продаете эти данные кому-либо — это свободно.

Если вы просто хотите, чтобы обобщенные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете скачать ZIP-файл, содержащий электронную таблицу MS Excel.

Удачи и дайте нам знать, если найдете что-нибудь интересное.

Начиная с апреля 2013 года, Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. По состоянию на конец 2017 года около 88 миллионов записей составляют 23 ГБ данных. Вы можете загрузить эти данные с нашего веб-сайта, если вы хотите провести собственное исследование, но для начала мы нашли то, что нашли.

Overview
В конце 2017 года у нас было 93 240 вращающихся жестких дисков. Из этого числа было 1935 загрузочных дисков и 91 305 дисков данных. В этом сообщении просматривается статистика жестких дисков, с которой мы отслеживаем данные. Мы рассмотрим статистику для Q4 2017, всего 2017, а также статистику по времени для всех дисков, которые Backblaze использовала в наших центрах хранения облачных данных, так как мы начали отслеживать. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Hard Drive Reliability Statistics for Q4 2017
В конце четвертого квартала 2017 года Backblaze контролировала 91,305 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения те приводы, которые использовались для целей тестирования, и те модели привода, для которых у нас не было не менее 45 дисков (читайте, почему после диаграммы). Это оставляет нам 91,243 жестких диска. Таблица ниже представлена ​​на период 4 квартала 2017 года.


A few things to remember when viewing this chart:

• Указанная частота отказов составляет всего лишь четвертый квартал 2017 года. Если модель привода имеет коэффициент отказа 0%, это означает, что в течение Q4 2017 не было отказов дисков этой модели.
• Было 62 диска (91 305 минус 91,243), которые не были включены в список выше, потому что у нас не было по меньшей мере 45 данных модели привода. Самая распространенная причина, по которой у нас было бы менее 45 дисков одной модели, заключается в том, что нам нужно было заменить неисправный диск, и нам пришлось покупать другую модель в качестве замены, потому что оригинальная модель больше не была доступна. Мы используем 45 дисков той же модели, что и минимальное количество, чтобы претендовать на отчетность по квартальной, годовой и пожизненной статистике.
• Квартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или с небольшим количеством дней движения. Например, накопитель Seagate 4 Тбайт, модель ST4000DM005, имеет годовую частоту отказов 29.08%, но это основано только на 1 255 дней на диске и 1 (один) отказ диска.
• AFR означает годовую частоту отказов, которая представляет собой прогнозируемую частоту отказов в течение года на основе данных только за этот квартал.

Bulking Up and Adding On Storage
Оглядываясь назад на 2017 год, мы не только добавили новые диски, но и «накопились», заменив функциональные и меньшие 2, 3 и 4 Тбайт диски с более крупными 8, 10 и 12 ТБ дисками. Изменения количества дисков за квартал показаны в таблице ниже:


В 2017 году мы добавили 25 746 новых дисков и потеряли 6 442 диска для выхода на пенсию для сети из 19 304 дисков. Когда вы смотрите на пространство для хранения, мы добавили 230 петабайт и вышли на пенсию в 19 петабайт, добавив нам 211 петабайт памяти в нашем центре обработки данных в 2017 году.

2017 Hard Drive Failure Stats
Ниже приведены статистические данные о сбое жесткого диска на весь срок службы моделей жестких дисков, которые были введены в эксплуатацию в конце четвертого квартала 2017 года. Как и в квартальных результатах выше, мы удалили все не производственные диски и любые модели, на которых было менее 45 дисков.


Приведенная выше диаграмма дает нам представление о времени жизни различных моделей накопителей в нашем центре обработки данных. Диаграмма Q4 2017 в начале сообщения дает нам снимок последней четверти тех же моделей.

Давайте рассмотрим те же модели с течением времени, в нашем случае за последние 3 года (2015-2017 гг.), Посмотрев на ежегодные показатели отказов за каждый из этих лет.


Частота отказов для каждого года рассчитывается только в этом году. Рассматривая результаты, можно сделать следующие замечания:

• Показатели отказов для обеих моделей 6 ТБ, Seagate и WDC, снизились за эти годы, в то время как количество приводов оставалось довольно последовательным из года в год.
• Несмотря на то, что показатели отказов для 3-вольтовых накопителей WDC также уменьшились, вы заметите, что в 2017 году мы перенесли почти 1000 из этих WDC-накопителей. В то время как остальные 180 WDC 3 ТБ-накопителей работают очень хорошо, уменьшение данных установить, что резко делает анализ тенденций подозрительным.
• Модель Toshiba 5 ТБ и модель HGST 8 TB имели нулевые неудачи за последний год. Это впечатляет, но с использованием всего лишь 45 дисков для каждой модели, а не статистически полезно.
• Модели HGST / Hitachi 4 TB обеспечили уровень отказов на 1,0% за каждый из трех лет. Удивительно.

A Few More Numbers
Чтобы сэкономить вам много часов, мы собрали данные, чтобы выявить следующие лакомые кусочки в отношении нашей постоянно меняющейся фермы на жестком диске.

• 116,833 — Количество жестких дисков, для которых у нас есть данные с апреля 2013 года до конца декабря 2017 года. В настоящее время существует 91 305 приводов (привод данных). Это означает, что 25 528 приводов либо потерпели неудачу, либо были удалены из службы по какой-то другой причине — обычно миграции.
• 29,844 — Количество жестких дисков, которые были установлены в 2017 году. Это включает в себя новые диски, миграции и замены сбоев.
• 81.76 — Количество жестких дисков, которые были установлены каждый день в 2017 году. Это включает в себя новые диски, миграции и замены сбоев.
• 95,638 — количество накопителей, установленных с момента начала ведения учета в апреле 2013 года до конца декабря 2017 года.
• 55.41. Среднее количество жестких дисков, установленных в день с апреля 2013 года до конца декабря 2017 года. Установками могут быть новые диски, замены миграции или замены сбоев.
• 1,508 — Количество жестких дисков, которые были заменены неудачно в 2017 году.
• 4.13. Среднее количество жестких дисков, которые потерпели неудачу каждый день в 2017 году.
• 6,795 — Количество жестких дисков, которые не прошли с апреля 2013 года до конца декабря 2017 года.
• 3.94. Среднее количество жестких дисков, которые потерпели неудачу каждый день с апреля 2013 года до конца декабря 2017 года.

For hard drive prices, the race to zero is over: nobody won. For the past 35+ years or so, hard drives prices have dropped, from around $500,000 per gigabyte in 1981 to less than $0.03 per gigabyte today. This includes the period of the Thailand drive crisis in 2012 that spiked hard drive prices. Matthew Komorowski has done an admirable job of documenting the hard drive price curve through March 2014 and we’d like to fill in the blanks with our own drive purchase data to complete the picture. As you’ll see, the hard drive pricing curve has flattened out.

75,000 New Hard Drives
We first looked at the cost per gigabyte of a hard drive in 2013 when we examined the effects of the Thailand Drive crisis on our business. When we wrote that post, the cost per gigabyte for a 4 TB hard drive was about $0.04 per gigabyte. Since then 5-, 6-, 8- and recently 10 TB hard drives have been introduced and during that period we have purchased nearly 75,000 drives. Below is a chart by drive size of the drives we purchased since that last report in 2013.



Observations
We purchase drives in bulk, thousands at a time. The price you might get at Costco or BestBuy, or on Amazon will most likely be higher.
The effect of the Thailand Drive crisis is clearly seen from October 2011 through mid-2013.
The 4 TB Drive Enigma

Up through the 4 TB drive models, the cost per gigabyte of a larger sized drive always became less than the smaller sized drives. In other words, the cost per gigabyte of a 2 TB drive was less than that of a 1 TB drive resulting in higher density at a lower cost per gigabyte. This changed with the introduction of 6- and 8 TB drives, especially as it relates to the 4 TB drives. As you can see in the chart above, the cost per gigabyte of the 6 TB drives did not fall below that of the 4 TB drives. You can also observe that the 8 TB drives are just approaching the cost per gigabyte of the 4 TB drives. The 4 TB drives are the price king as seen in the chart below of the current cost of Seagate consumer drives by size.


The data on this chart was sourced from the current price of these drives on Amazon. The drive models selected were “consumer” drives, like those we typically use in our data centers.

The manufacturing and marketing efficiencies that drive the pricing of hard drives seems to have changed over time. For example, the 6 TB drives have been in the market at least 3 years, but are not even close to the cost per gigabyte of the 4 TB drives. Meanwhile, back in 2011, the 3 TB drives models fell below the cost per gigabyte of the 2 TB drives they “replaced” within a few months. Have we as consumers decided that 4 TB drives are “big enough” for our needs and we are not demanding (by purchasing) larger sized drives in the quantities needed to push down the unit cost?

Approaching Zero: There’s a Limit
The important aspect is the trend of the cost over time. While it has continued to move downward, the rate of change has slowed dramatically as observed in the chart below which represents our average quarterly cost per gigabyte over time.


The change in the rate of the cost per gigabyte of a hard drive is declining. For example, from January 2009 to January 2011, our average cost for a hard drive decreased 45% from $0.11 to $0.06 – $0.05 per gigabyte. From January 2015 to January 2017, the average cost decreased 26% from $0.038 to $0.028 – just $0.01 per gigabyte. This means that the declining price of storage will become less relevant in driving the cost of providing storage.

Back in 2011, IDC predicted that the overall data will grow by 50 times by 2020, and in 2014, EMC estimated that by 2020, we will be creating 44 trillion gigabytes of data annually. That’s quite a challenge for the storage industry especially as the cost per gigabyte curve for hard drives is flattening out. Improvements in existing storage technologies (Helium, HAMR) along with future technologies (Quantum Storage, DNA), are on the way – we can’t wait. Of course we’d like these new storage devices to be 50% less expensive per gigabyte then today’s hard drives. That would be a good start.

www.backblaze.com/blog/hard-drive-reliability-stats-q1-2016/